Ông sinh ngày 15 tháng 12 năm 1925 tại Châu Thành, Long An, Nam Kỳ, trong một nhà đại điền chủ di cư từ Hải Dương đầu thế kỷ XX. Do điều kiện gia đình khá giả, nên ông có một trình độ học vấn căn bản. Ông được cho lên Sài Gòn học từ cấp Tiểu học đến cấp Trung học ở những trường Pháp danh tiếng. Năm 1944, ông tốt nghiệp Trung học phổ thông với văn bằng Tú tài toàn phần (Part II).

Năm 1945, Cách mạng tháng 8 diễn ra ở miền Nam, ông tham gia phong trào Việt Minh. Khi Pháp tái chiếm Nam Kỳ, ông cùng các bạn hữu rút vào Chiến khu 8, chiến đấu dưới quyền Khu trưởng Trần Văn Trà một thời gian ngắn, sau đó lại trở về thành.

Quân đội Thuộc địa và Liên hiệp Pháp

Giữa năm 1946, ông tình nguyên nhập ngũ vào Quân đội Thuộc địa Pháp. Do có trình độ Tú tài, ông được cho theo học khóa 1 Nguyễn Văn Thinh tại trường Võ bị Liên quân Viễn Đông Đà Lạt, khai giảng ngày 1 tháng 7 năm 1946. Thời gian theo học tại đây, ông có quan hệ thân tình với một số học viên trẻ khác như Nguyễn Khánh, Lâm Văn Phát và Trần Đình Lan.[5] Ngày 1 tháng 7 năm 1947, ông mãn khóa tốt nghiệp với cấp bậc Chuẩn úy. Ra trường ông là sĩ quan tập sự trong đơn vị Vệ binh Nam phần của Quân đội Thuộc địa Pháp. Giữa năm 1948, ông được chuyến biên chế sang Quân đội Liên hiệp Pháp. Tháng 8 cùng năm, ông được thăng cấp Thiếu úy giữ chức vụ Chỉ huy phó Đại đội 1 thuộc Tiểu đoàn 3 Việt Nam.

Quân đội Quốc gia Việt Nam

Cuối năm 1950, ông chuyển ngạch sang Quân đội Quốc gia và được thăng cấp Trung úy chỉ huy một Đại đội Việt Nam đồn trú tại Mông Thọ, Rạch Giá. Giữa năm 1952, sau khi Quân đội Quốc gia thành lập Bộ Tổng Tham mưu, ông được thăng cấp Đại úy, chuyển đến phân khu Hải Dương làm Trưởng ban 3 của Liên đoàn Lưu động số 2 đồn trú tại Ninh Giang. Tại đây ông kết thân với 2 sĩ quan người Việt là Trung úy Nguyễn Văn Thiệu và Trung úy Cao Văn Viên. Bộ 3 này về sau là những người có thế lực nhất trong nền Đệ nhị Cộng hòa.

Tháng 8 năm 1953, bàn giao chức vụ Trưởng ban 3 của Liên đoàn Lưu động số 2 lại cho Đại úy Vương Văn Đông. ngay sau đó, ông chuyển đi phục vụ tại Liên đoàn Lưu động số 3 đồn trú tại Ninh Bình do Thiếu tá Phạm Văn Đỗng làm Chỉ huy trưởng. Ngày 20 tháng 7 năm 1954, ký kết Hiệp định Genève. Ông cùng đơn vị di chuyển vào Nam. Hạ tuần tháng 7, ông được cử làm Trưởng phòng 3 Đệ nhị Quân khu. Cuối năm, ông được thăng cấp Thiếu tá giữ chức vụ Tham mưu trưởng Đệ nhị Quân khu thay thế Thiếu tá Nguyễn Văn Thiệu.[6] Tháng 8 năm 1955, ông được thăng cấp Trung tá giữ chức vụ Tham mưu phó Tiếp vận tại Bộ Tổng tham mưu Quân đội Quốc gia thay thế Trung tá Đặng Văn Quang.

Quân đội Việt Nam Cộng hòa

Cuối tháng 10 năm 1955, Thủ tướng Ngô Đình Diệm tổ chức cuộc "Trưng cầu Dân ý" với mục đích phế truất Quốc trưởng Bảo Đại, ông là một trong số sĩ quan nhiệt tình ủng hộ Thủ tướng Diệm. Do có công trong sự kiện này, nên tháng 8 năm 1957 ông được Thủ tướng thăng cấp Đại tá, được cử Xử lý thường vụ chức vụ Tham mưu trưởng Bộ Tổng tham mưu. Sau đó ông được đi du học lớp Chỉ huy Tham mưu cao cấp tại Học viện Chỉ huy và Tham mưu Fort Leavenworth, Kansas, Hoa Kỳ.

Giữa tháng 3 năm 1958 mãn khóa học ở Hoa Kỳ về nước, ông được cử làm Tư lệnh Sư đoàn Dã chiến số 4 thay thế Trung tá Ngô Dzu.[7] Ngày 30 tháng 3 năm 1959, bàn giao Sư đoàn 7 Bộ binh lại cho Trung tá Huỳnh Văn Cao. Sau đó ông được chuyển về tùng sự ở Bộ Tổng Tham mưu. Tháng 2 năm 1960, ông chuyển về miền Tây Nam phần giữ chức vụ Tư lệnh Sư đoàn 21 Bộ binh kiêm Tư lệnh Quân khu 5, phụ trách vùng Đồng bằng sông Cửu Long thay thế Đại tá Nguyễn Văn Y[8] được chuyển về Trung ương.

Khi Cuộc đảo chính quân sự ngày 11 tháng 11 năm 1960 nổ ra, ông chỉ huy Sư đoàn 21 Bộ binh kéo về Sài Gòn để giải vây cho Tổng thống Ngô Đình Diệm, chống lại nhóm sĩ quan cầm đầu là Đai tá Nguyễn Chánh Thi và Trung tá Vương Văn Đông[9]. Do hành động giải vây trên, ông rất được Tổng thống Diệm tín nhiệm. Đầu tháng 12 năm 1962, bàn giao Sư đoàn 21 Bộ binh lại cho Đại tá Bùi Hữu Nhơn để về tùng sự tại Bộ Tổng Tham mưu. Ngày 6 tháng 12, ông được thăng cấp Thiếu tướng. Mười ngày sau ông được cử giữ chức vụ Tham mưu trưởng Liên quân, thay cho người tiền nhiệm là Thiếu tướng Nguyễn Khánh[10]

Giữa năm 1963, Đại tướng Tổng tham mưu trưởng Lê Văn Tỵ sang Hoa Kỳ chữa bệnh. Ngày 27 tháng 7 cùng năm, bàn giao chức vụ Tham mưu trưởng lại cho Thiếu tướng Lê Văn Nghiêm. Sau đó ông được chỉ định Xử lý Thường vụ chức vụ Tổng tham mưu trưởng tạm thời thay tướng Tỵ. Hơn một tháng sau, Tổng thống Diệm chính thức bổ nhiệm Trung tướng Trần Văn Đôn làm quyền Tổng Tham mưu trưởng thay ông, đồng thời tái bổ nhiệm ông trở lại với chức vụ Tham mưu trưởng Liên quân thay thế tướng Nghiêm.

Mưu sĩ của các cuộc đảo chính

Tuy vậy, tướng Khiêm lại là một trong những tướng lĩnh chủ chốt tham gia Cuộc Đảo chính ngày 1 tháng 11 năm 1963 lật đổ Tổng thống Ngô Đình Diệm. Với cương vị Tham mưu trưởng Liên quân, tướng Khiêm được cho là có những động thái tích cực để vạch kế hoạch và điều động các đơn vị tham gia đảo chính vào Sài Gòn cũng như cách ly các đơn vị trung thành với Tổng thống Diệm. Sau cuộc đảo chính, ngày 2 tháng 11 ông được thăng cấp Trung tướng kiêm chức vụ Ủy viên Quân sự trong Hội đồng Quân nhân Cách mạng do Trung tướng Dương Văn Minh làm Chủ tịch. Ngày 17 tháng 12, với tư cách là Ủy viên Quân sự, ông cùng phái đoàn Việt Nam Cộng hòa do Đại sứ Phạm Đăng Lâm làm Trưởng đoàn, sang Seoul tham dự lễ nhậm chức Tổng thống Đại Hàn của Trung tướng Phác Chánh Hy.[11]

Đầu năm 1964, ông được bổ nhiệm vào chức vụ Tư lệnh Quân đoàn III và Vùng 3 Chiến thuật, kiêm Tổng trấn Sài Gòn thay thế Trung tướng Tôn Thất Đính. Tuy nhiên, chỉ một tháng sau, ông cùng với người bạn cũ là tướng Nguyễn Khánh đã thực hiện cuộc "Chỉnh lý" chớp nhoáng, cướp quyền của Hội đồng Quân nhân Cách mạng, đưa tướng Khánh lên nắm quyền tối cao. Để trả công, ông được tướng Khánh giao giữ chức vụ Tổng trưởng Quốc phòng kiêm Tổng Tư lệnh Quân lực. Ngày 11 tháng 8, ông được thăng cấp Đại tướng và trở thành người thứ 2 sau tướng Lê Văn Tỵ thụ phong hàm Đại tướng của Việt Nam Cộng hòa.

Thắng làm Vua, thua làm Đại sứ

Nhằm dung hòa mâu thuẫn giữa các tướng lãnh lãnh đạo, giải pháp "Tam đầu chế" ra đời. Ngày 27 tháng 8 năm 1964, ông được Hội đồng Quân lực (hậu thân của Hội đồng Quân Nhân Cách mạng) gồm 53 thành viên tướng lãnh họp tại Bộ Tổng Tham mưu, bầu vào Ủy ban Lãnh đạo Lâm thời Quốc gia và Quân lực cùng với hai tướng Dương Văn Minh và Nguyễn Khánh. Tuy nhiên, mâu thuẫn quyền lực đã nẩy sinh với ông bạn cũ Nguyễn Khánh. Sau cuộc binh biến ngày 13 tháng 9 do tướng Dương Văn Đức phát động, tướng Khánh nghi ngờ có sự hậu thuẫn của ông, nên từ giữa tháng 9 đến đầu tháng 10, ông bị tướng Khánh buộc phải bàn giao hai chức vụ Tổng trưởng Quốc phòng và Tổng Tư lệnh Quân lực lại cho tướng Khánh kiêm nhiệm (đây là một động thái thâu tóm quyền lực của tướng Khánh). Ngày 7 tháng 10, ông được cử làm Trưởng phái đoàn công du thăm viếng thiện chí Vương quốc Anh và Liên bang Tây Đức để cám ơn các Quốc gia này đã từng hỗ trợ cho Việt nam Cộng hòa trong công cuộc chống Cộng sản. Ngày 24 tháng 10 cùng năm hết hạn công du, thay vì trở về nước, ông nhận được quyết định của tướng Khánh đi làm Đại sứ Việt Nam Cộng hòa ở Hoa Kỳ

Giữa năm 1965, sau khi nhóm các tướng trẻ do tướng Nguyễn Cao Kỳ và một người bạn cũ của ông là tướng Nguyễn Văn Thiệu đứng đầu, đã buộc tướng Khánh phải rời khỏi mọi chức vụ để đi làm "Đại sứ Lưu động", ông nghĩ rằng có thể được trở về. Tuy nhiên vào tháng 10 năm 1965, hết nhiệm kỳ Đại sứ tại Hoa Kỳ, ông lại nhận được quyết định từ tướng Nguyễn Cao Kỳ (đương nhiệm Chủ tịch Ủy ban Hành pháp Trung ương (Thủ tướng) Việt Nam Cộng hòa) tiếp tục đi làm Đại sứ Việt Nam Cộng hòa ở Đài Loan (thực chất đây là một hình thức ông bị đẩy đi lưu vong ở nước ngoài).

Trở về nắm quyền

Mãi đến năm 1967, người bạn cũ Nguyễn Văn Thiệu sau khi đã ngồi chắc vào chiếc ghế Tổng thống, đã dùng nhiều biện pháp để loại trừ vây cánh của tướng Nguyễn Cao Kỳ (lúc đó đã là Phó Tổng thống), tháng 5 năm 1968, ông mới được triệu hồi về nước và được giao chức vụ Tổng trưởng Nội vụ trong Chính phủ Trần Văn Hương. Đầu năm 1969, ông được cử làm Phó Thủ tướng đặc trách bình định. Đến ngày 22 tháng 8 cùng năm, Thủ tướng Trần văn Hương từ chức, ông được Tổng thống Thiệu chỉ định làm Thủ tướng và lập Nội các Chính phủ mới. Khi tướng Nguyễn Văn Vỹ bị cách chức Tổng trưởng Quốc phòng năm 1972, ông được cử kiêm nhiệm luôn chức vụ này đến tháng 4 năm 1975.

• Nội các Chính phủ Trần Thiện Khiêm từ 2/1974 đến 4/1975 được ấn định thành phần nhân sự như sau:
  -Thủ tướng Chính phủ[12] - Đại tướng Trần Thiện Khiêm
  -Phó Thủ tướng[13] - Bác sĩ Phan Quang Đán
  -Phó Thủ tướng[14] - Trung tướng hồi hưu Trần Văn Đôn
  -Tổng trưởng Ngoại giao - Luật sư Vương Văn Bắc
  -Tổng trưởng Tư pháp - Ông Dương Đức Thụy
  -Tổng trưởng Nội vụ - Ông Lê Công Chất
  -Tổng trưởng Văn hóa-Giáo dục-Thanh niên - Dược sĩ Ngô Khắc Tỉnh
  -Tổng trưởng Tài Chính - Đốc sự Châu Kim Nhân
  -Tổng trưởng Thương Mại-Kỹ nghệ - Kỹ sư Nguyễn Đức Cường
  -Tổng trưởng Canh nông - Kỹ sư Tôn Thất Trình
  -Tổng trưởng Công chánh-Giao thông - Kỹ sư Dương Kích Nhưỡng
  -Tổng trưởng Dân vận-Chiêu hồi - Kỹ sư Hoàng Đức Nhã
  -Tổng trưởng Y tế - Bác sĩ Huỳnh Văn Hưởng
  -Tổng trưởng Lao động - Ông Đàm Sĩ Hiến
  -Tổng trưởng Cựu chiến binh - Bác sĩ Hồ Văn Châm
  -Tổng trưởng Phát triển Sắc tộc - Ông Nay Luett
  -Bộ trưởng Phủ Thủ tướng - Đốc sự Bửu Viên
  -Thứ trưởng Giáo dục - Giáo sư Bùi Văn Hào